语义图像分割是手术中的背景知识和自治机器人的重要前提。本领域的状态专注于在微创手术期间获得的传统RGB视频数据，但基于光谱成像数据的全景语义分割并在开放手术期间获得几乎没有注意到日期。为了解决文献中的这种差距，我们正在研究基于在开放手术环境中获得的猪的高光谱成像（HSI）数据的以下研究问题：（1）基于神经网络的HSI数据的充分表示是完全自动化的器官分割，尤其是关于数据的空间粒度（像素与Superpixels与Patches与完整图像）的空间粒度？ （2）在执行语义器官分割时，是否有利用HSI数据使用HSI数据，即RGB数据和处理的HSI数据（例如氧合等组织参数）？根据基于20猪的506个HSI图像的全面验证研究，共注释了19个类，基于深度的学习的分割性能 - 贯穿模态 - 与输入数据的空间上下文一致。未处理的HSI数据提供优于RGB数据或来自摄像机提供商的处理数据，其中优势随着输入到神经网络的输入的尺寸而增加。最大性能（应用于整个图像的HSI）产生了0.89（标准偏差（SD）0.04）的平均骰子相似度系数（DSC），其在帧间间变异性（DSC为0.89（SD 0.07）的范围内。我们得出结论，HSI可以成为全自动手术场景理解的强大的图像模型，其具有传统成像的许多优点，包括恢复额外功能组织信息的能力。
translated by 谷歌翻译
灵活地处理各种机器人动作语言翻译任务是机器人和人之间自然相互作用的必不可少的要求。以前的方法需要更改推理过程中每个任务的模型体系结构的配置，这破坏了多任务学习的前提。在这项工作中，我们提出了配对的门控自动编码器（PGAE），以在桌面对象操纵方案中的机器人动作和语言描述之间进行灵活翻译。我们通过将每个动作与包含信号通知翻译方向的信号的适当描述配对，以端到端的方式训练模型。在推断期间，我们的模型可以从动作转化为语言，反之亦然，根据给定的语言信号。此外，为了选择使用预算语言模型作为语言编码器，我们的模型有可能识别看不见的自然语言输入。我们模型的另一个功能是，它可以通过使用机器人演示来识别和模仿另一个代理的动作。该实验结果突出了我们方法的灵活双向翻译能力，同时又可以推广到相反剂的作用。
translated by 谷歌翻译
我们提出了一个无监督的卷积神经网络（CNN），用于放松参数估计。该网络包含信号松弛和Bloch模拟，同时利用邻近voxels的剩余学习和空间关系。与数值模拟中的标准参数估计方法和多回波T2和T2 *映射的标准参数估计方法相比，显示了对噪声的量化精度和稳健性。所提出的网络与子空间建模的组合和来自高度提高数据的子空间建模和MR指纹识别（MRF）允许高质量的T1和T2映射。
translated by 谷歌翻译
在训练阶段通常使用辍学作为正则化方法，并用于量化深度学习的不确定性。我们建议在培训期间使用辍学以及推理步骤，以及平均多种预测，以提高准确性，同时减少和量化不确定性。评估结果对仅3方向扫描获得的分数各向异性（FA）和平均扩散率（MD）映射。通过我们的方法，与无丢失的网络输出相比，可以显着提高准确性，特别是当训练数据集很小时。此外，产生置信度图，这可能有助于诊断看不见的病理学或伪影。
translated by 谷歌翻译
扩散加权图像（DWIS）中的噪声降低了扩散张量磁共振成像（DTI）导出的微结构参数的准确性和精度，并导致延长的采集时间来实现改进的信噪比（SNR）。基于深度学习的图像去噪使用卷积神经网络（CNNS）具有卓越的性能，但通常需要额外的高SNR数据来监督CNN的培训，这降低了实际可行性。我们开发了一个自我监督的深度学习的方法，标题为“SDNDTI”，用于去噪DTI数据，这不需要额外的高SNR数据进行培训。具体地，SDNDTI将多向DTI数据划分为许多子集，每个子集中沿着沿着最佳选择的扩散编码方向组成的六个DWI卷，该编码方向是对张力配件的稳健，然后沿着拟合的扩散张量沿所有获取的方向合成DWI体积使用数据的每个子集作为CNN的输入数据。另一方面，SDNDTI沿着使用所有获取的数据作为训练目标的扩散张量，沿着获取的扩散编码方向合成DWI卷。 SDNDTI使用深3维CNN从合成的DWI卷中的每个子集中消除噪声，以匹配清洁器目标DWI卷的质量，通过平均所有去噪数据的所有子集实现更高的SNR。 SDNDTI的去噪功效在于人类连接项目（HCP）提供的两种数据集和衰老中的寿命HCP。 SDNDTI结果保留了图像清晰度和纹理细节，并大大改善了原始数据的影响。 SDNDTI的结果与来自最先进的传统去噪算法包括BM4D，AONLM和MPPCA的常规去噪算法的结果相当。
translated by 谷歌翻译